Beacon: Knowing When and How to Perform Agentic Visual Reasoning
Beacon：让视觉推理模型知道何时及如何调用工具
🧭 Agent 视觉推理中的自适应工具调用与强化学习 ★ 深度解读
Peking University · Kling Team · HKUST(GZ) · CUHK · ZJU
提出必要性感知自适应奖励与提示引导能力扩展，使模型能自适应调用工具并获真实性能增益
📌 工作参考价值（4 点）
- 自适应奖励设计借鉴：NAAR（必要性感知自适应奖励）可为电商/广告Agent中的工具调用决策提供参考——当纯文本推理即可解决问题时，对不必要的工具调用赋予较低奖励，但仍保留部分正向反馈（如0.25），避免抑制正确但冗余的工具使用；当纯文本失效时，正确工具调用获满奖励。这种软偏好平衡了效率与效果，有利于线上成本控制。
- 困难样本的专家引导训练：HCE（提示引导能力扩展）展示了如何利用教师模型生成子目标提示，引导策略在困难样本上探索，训练后再去掉提示使模型独立求解。这类似于在推荐Agent中处理长尾/冷启问题：先用强模型生成中间推理步骤的提示，帮助学生模型学习有效工具组合，最终摆脱对强模型的依赖。
- 在线标注避免分布偏移：NAAR 基于当前策略的组内正确性动态标注样本是否需要工具，而非固定教师模型。在动态变化的推荐场景（如季节性偏好）中，这种在线标注方式可让工具调用策略随模型能力同步进化。
- 混合策略优化与重要性采样：同时训练普通采样和提示引导采样的轨迹，并对提示轨迹使用重要性采样校正（将提示输入替换为原始输入），实现能力迁移。这一技巧可迁移到任何需要将外部知识注入策略训练的Agent场景。